热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

简便性|存量_ElasticsearchElasticsearch8.X;Elasticsearch8.X集群

篇首语:本文由编程笔记#小编为大家整理,主要介绍了Elasticsearch-Elasticsearch8.X;Elasticsearch8.X集群相关的知识,希望对你有一定的参考价值。

篇首语:本文由编程笔记#小编为大家整理,主要介绍了Elasticsearch - Elasticsearch 8.X;Elasticsearch 8.X集群相关的知识,希望对你有一定的参考价值。



阅读本文前可先参考

Elasticsearch - Elasticsearch详解;安装部署(一)_MinggeQingchun的博客-CSDN博客

Elasticsearch - Elasticsearch集群Cluster(三)_MinggeQingchun的博客-CSDN博客




一、Elasticsearch 8.X 

距 2019 年 Elasticsearch 上一大版本 7.0 发布至今已经过去了 3 年

2022 年 2 月 11 日,Elasticsearch 发布了全新的 8.0 正式版本,新版本中通过改进 Elasticsearch 的矢量搜索功能、对现代自然语言处理模型的原生支持、不断简化的数据上线过程,以及精简的安全防护体验,在速度、扩展幅度、相关 性和简便性方面,让搜索引擎技术迎来了一个全新的时代!


Elasticsearch 新特性

1、减少内存堆使用,完全支持 ARM 架构,引入全新的方式以使用更少的存储空间,从而让每个节点托管更多的数据

2、降低查询开销,在大规模部署中成效尤为明显

3、提高日期直方图和搜索聚合的速度,增强了页面缓存的性能,并创建了一个新的 “pre-filter”搜索短语

在最新发布的 8.0 版本中,增加和完善了很多新的功能

4、增加对自然语言处理 (NLP) 模型的原生支持,让矢量搜索功能更容易实现,让客户和员工能够使用他们自己的文字和语言来搜索并收到高度相关的结果

5、直接在 Elasticsearch 中执行命名实体识别、情感分析、文本分类等,而无需使用额外 的组件或进行编码

6、Elasticsearch 8.0 基于 Lucene 9.0 开发的,那些利用现代 NLP 的搜索体验,都可以借助(新增的)对近似最近邻搜索的原生支持,快速且大规模地实现。通过 ANN,可以快速并高效地将基于矢量的查询与基于矢量的文档语料库(无论是小语料库、大语料库还是巨型语料库)进行比较

7、可以直接在 Elasticsearch 中使用 PyTorch Machine Learning 模型(如 BERT),并在Elasticsearch 中原生使用这些模型执行推理



二、Elasticsearch 8.X 安装使用

(一)Elasticsearch 与 Java版本选择推荐及总结


Elasticsearch 和 JVM 支持矩阵

支持矩阵 | Elastic


Elasticsearch(5.x、6.x、7.x、8.x)的兼容性

支持矩阵 | Elastic


1、ES 7.x 及之前版本,选择 Java 8

2、ES 8.x 及之后版本,选择 Java 17 或者 Java 18,建议 Java 17,因为对应版本的 Logstash 不支持 Java 18

(1)对于ES 8.0:Java版本仅支持 Java 17,别无选择

(2)对于ES 8.1及以上版本:支持Java 17 以及 Java 18,建议 Java 17,因为对应版本的Logstash 不支持 Java 18

3、Java 9、Java 10、Java 12 和 Java 13 均为短期版本,不推荐使用

4、M1(Arm) 系列 Mac 用户建议选择 ES 7.8.x 以上版本,因为考虑到 ELK 不同产品自身兼容性,7.8.x以上版本原生支持 Arm 原生 JDK


(二)Java 17安装下载

Elasticsearch是使用Java开发的,8.1版本的ES需要JDK17及以上版本。默认安装包中带有JDK环境,如果系统配置ES_JAVA_HOME环境变量,那么会采用系统配置的.JDK。如果没有配置该环境变量,ES会使用自带捆绑的JDK。虽然自带的JDK是 ES软件推荐的Java版本,但一般建议使用系统配置的JDK 


Java官网地址:

Java Software | Oracle

Java 软件 | Oracle 中国


Java下载地址:

Java Downloads | Oracle


Java所有版本下载地址:

JDK Release Notes

可参考

Java--Java版本和JDK版本_MinggeQingchun的博客-CSDN博客_java最新版本是多少



(三)Elasticsearch8.1 集群安装下载

注:



1、因博主未升级JDK1.8至JDK17、JDK18;但是ES7.16.X是能兼容JDK1.8和JDK17、JDK18的,因此以安装ES7.16.0为例


2、博主通过虚拟机VMware Workstations仅安装2台配置ES集群


可参考

Elasticsearch - Elasticsearch集群Cluster(三)_MinggeQingchun的博客-CSDN博客


Elasticsearch官网地址:

免费且开放的搜索:Elasticsearch、ELK 和 Kibana 的开发者 | Elastic


Elasticsearch下载地址: 

Past Releases of Elastic Stack Software | Elastic



1、集群搭建规划

准备三台 linux 虚拟机,用于配置 Elasticsearch 集群;启动集群后


主机名esLinux1esLinux2
进程名Elasticsearch (es-node-1)Elasticsearch (es-node-2)

2、上传压缩包,解压

将 elasticsearch-7.16.0-linux-x86_64.tar.gz 上传至 目标目录 /opt/software

执行解压缩命令 

tar -zxvf elasticsearch-7.16.0-linux-x86_64.tar.gz -C /opt/software/

目录结构如下


3、配置JDK

当前安装Elasticsearch版本为7.16.0,自带JDK,无需配置Java环境


4、创建 linux 新用户 es, 数据文件,证书目录, 并修改 Elasticsearch 文件拥有者

注:

因为安全问题,Elasticsearch 不允许 root 用户直接运行,所以要创建新用户,在 root 用户中创建新用户

# 新增 es 用户
useradd es
# 为 es 用户设置密码
passwd es
# 创建数据文件目录
mkdir /opt/software/elasticsearch-7.16.0/data
# 创建证书目录
mkdir /opt/software/elasticsearch-7.16.0/config/certs
#切换目录
cd /opt/software/elasticsearch-7.16.0
# 修改文件拥有者
chown -R es:es /opt/software/elasticsearch-7.16.0

5、在第一台服务器节点 es-node-1 设置集群多节点通信密钥

# 切换用户
su es
# 签发 ca 证书(过程中需按两次回车键)
bin/elasticsearch-certutil ca
# 用 ca 证书签发节点证书(过程中需按三次回车键)
bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12
# 将生成的证书文件移动到 config/certs 目录中
mv elastic-stack-ca.p12 elastic-certificates.p12 config/certs

  


6、在第一台服务器节点 es-node-1 设置集群多节点 HTTP 证书

# 签发 Https 证书
bin/elasticsearch-certutil http

以下是每次要求输入时,需要输入的内容 


指定证书路径





无需输入密码





设置证书失效时间





无需每个节点配置证书


输出连接到第一个节点的所有主机名称





输出连接到第一个节点的所有主机
IP
地址





不改变证书选项配置


不给证书加密,按键输入两次回车





解压刚刚生成的
zip




# 解压文件
unzip elasticsearch-ssl-http.zip


将解压后的证书文件移动到
config/certs
目录中



# 移动文件
mv elasticsearch/http.p12 kibana/elasticsearch-ca.pem config/certs




7、修改主配置文件:config/elasticsearch.yml


# 设置 ES 集群名称
cluster.name: es-cluster
# 设置集群中当前节点名称
node.name: es-node-1
# 设置数据,日志文件路径
path.data: /opt/software/elasticsearch-7.16.0/data
path.logs: /opt/software/elasticsearch-7.16.0/logs
# 设置网络访问节点
network.host: esLinux1
# 设置网络访问端口
http.port: 9200
# 初始节点
discovery.seed_hosts: ["esLinux1"]
# 安全认证
xpack.security.enabled: true
xpack.security.enrollment.enabled: true
xpack.security.http.ssl:
enabled: true
keystore.path: /opt/software/elasticsearch-7.16.0/config/certs/http.p12
truststore.path: /opt/software/elasticsearch-7.16.0/config/certs/http.p12
xpack.security.transport.ssl:
enabled: true
verification_mode: certificate
keystore.path: /opt/software/elasticsearch-7.16.0/config/certs/elastic-certificates.p12
truststore.path: /opt/software/elasticsearch-7.16.0/config/certs/elastic-certificates.p12
# 此处需注意,es-node-1 为上面配置的节点名称
cluster.initial_master_nodes: ["es-node-1"]
http.host: [_local_, _site_]
ingest.geoip.downloader.enabled: false
xpack.security.http.ssl.client_authentication: none


8、启动ES 

# 启动 ES 软件
bin/elasticsearch

注:

第一次成功启动后,会显示密码,请记住,访问时需要。只有第一次才有!!!

如果 没有注意到或没有找到账号密码,可以设置免密登录:

# Enable security features
xpack.security.enabled: false

✅ Elasticsearch security features have been automatically configured!
✅ Authentication is enabled and cluster connections are encrypted.
ℹ️ Password for the elastic user (reset with `bin/elasticsearch-reset-password -u elastic`):
密码xxxxx
❌ Unable to generate an enrollment token for Kibana instances, try invoking `bin/elasticsearch-create-enrollment-token -s kibana`.
ℹ️ Configure other nodes to join this cluster:
• On this node:
⁃ Create an enrollment token with `bin/elasticsearch-create-enrollment-token -s node`.
⁃ Uncomment the transport.host setting at the end of config/elasticsearch.yml.
⁃ Restart Elasticsearch.
• On other nodes:
⁃ Start Elasticsearch with `bin/elasticsearch --enrollment-token `, using the enrollment token that you generated.

9、 访问服务器节点 https://虚拟机地址:9200


10、修改集群中其他节点的配置文件:config/elasticsearch.yml

证书直接拷贝,其他步骤完全相同,配置文件中修改如下内容即可

# 设置节点名称
node.name: es-node-2
# 设置网络访问主机
network.host: esLinux2


(四)踩坑


1、main ERROR Unable to invoke factory method in class org.apache.logging.log4j.core.appender.RollingFileAppender for element RollingFile

main ERROR Unable to invoke factory method in class org.apache.logging.log4j.core.appender.RollingFileAppender for element RollingFile: java.lang.IllegalStateException: No factory method found for class org.apache.logging.log4j.core.appender.RollingFileAppender java.lang.IllegalStateException: No factory method found for class org.apache.logging.log4j.core.appender.RollingFileAppender


原因:

在安装elasticsearch时,新建的logs目录是用root用户建的,因此,logs下的文件是root用户权限,因此,将该权限改为非root用户即可


解决方法:修改权限 

su root
cd /opt/software/elasticsearch-7.16.0/
chown -R es ./logs/
chgrp -R es ./logs/



2、被自动killed


原因:

Elasticsearch在启动过程中被自动killed,是内存不够了,由于ES是运行在JVM上,JVM本身除了分配的heap内存以外,还会用到一些堆外(off heap)内存。 在小内存的机器上跑ES,如果heap划分过多,累加上堆外内存后,总的JVM使用内存量可能超过物理内存限制。 如果swap又是关闭的情况下,就会被操作系统oom killer杀掉


解决办法:

修改ES中目录下的config/jvm.options文件


-Xms4g
-Xmx4g
改为
-Xms1g
-Xmx1g


推荐阅读
  • 兆芯X86 CPU架构的演进与现状(国产CPU系列)
    本文详细介绍了兆芯X86 CPU架构的发展历程,从公司成立背景到关键技术授权,再到具体芯片架构的演进,全面解析了兆芯在国产CPU领域的贡献与挑战。 ... [详细]
  • 如何高效查看Java API和源码
    在Java学习过程中,查看API文档和源码是提高编程能力的重要手段。本文将详细介绍如何使用各种工具和方法高效地查看Java API和源码。 ... [详细]
  • 本文节选自《NLTK基础教程——用NLTK和Python库构建机器学习应用》一书的第1章第1.2节,作者Nitin Hardeniya。本文将带领读者快速了解Python的基础知识,为后续的机器学习应用打下坚实的基础。 ... [详细]
  • 近期,微信公众平台上的HTML5游戏引起了广泛讨论,预示着HTML5游戏将迎来新的发展机遇。磊友科技的赵霏,作为一名HTML5技术的倡导者,分享了他在微信平台上开发HTML5游戏的经验和见解。 ... [详细]
  • 您的数据库配置是否安全?DBSAT工具助您一臂之力!
    本文探讨了Oracle提供的免费工具DBSAT,该工具能够有效协助用户检测和优化数据库配置的安全性。通过全面的分析和报告,DBSAT帮助用户识别潜在的安全漏洞,并提供针对性的改进建议,确保数据库系统的稳定性和安全性。 ... [详细]
  • 本文详细介绍了在MySQL中如何高效利用EXPLAIN命令进行查询优化。通过实例解析和步骤说明,文章旨在帮助读者深入理解EXPLAIN命令的工作原理及其在性能调优中的应用,内容通俗易懂且结构清晰,适合各水平的数据库管理员和技术人员参考学习。 ... [详细]
  • 独家解析:深度学习泛化理论的破解之道与应用前景
    本文深入探讨了深度学习泛化理论的关键问题,通过分析现有研究和实践经验,揭示了泛化性能背后的核心机制。文章详细解析了泛化能力的影响因素,并提出了改进模型泛化性能的有效策略。此外,还展望了这些理论在实际应用中的广阔前景,为未来的研究和开发提供了宝贵的参考。 ... [详细]
  • 计算机视觉领域介绍 | 自然语言驱动的跨模态行人重识别前沿技术综述(上篇)
    本文介绍了计算机视觉领域的最新进展,特别是自然语言驱动的跨模态行人重识别技术。上篇内容详细探讨了该领域的基础理论、关键技术及当前的研究热点,为读者提供了全面的概述。 ... [详细]
  • 自然语言处理(NLP)——LDA模型:对电商购物评论进行情感分析
    目录一、2020数学建模美赛C题简介需求评价内容提供数据二、解题思路三、LDA简介四、代码实现1.数据预处理1.1剔除无用信息1.1.1剔除掉不需要的列1.1.2找出无效评论并剔除 ... [详细]
  • 解决Only fullscreen opaque activities can request orientation错误的方法
    本文介绍了在使用PictureSelectorLight第三方框架时遇到的Only fullscreen opaque activities can request orientation错误,并提供了一种有效的解决方案。 ... [详细]
  • 在机器学习领域,深入探讨了概率论与数理统计的基础知识,特别是这些理论在数据挖掘中的应用。文章重点分析了偏差(Bias)与方差(Variance)之间的平衡问题,强调了方差反映了不同训练模型之间的差异,例如在K折交叉验证中,不同模型之间的性能差异显著。此外,还讨论了如何通过优化模型选择和参数调整来有效控制这一平衡,以提高模型的泛化能力。 ... [详细]
  • 本文深入解析了JDK 8中HashMap的源代码,重点探讨了put方法的工作机制及其内部参数的设定原理。HashMap允许键和值为null,但键为null的情况只能出现一次,因为null键在内部通过索引0进行存储。文章详细分析了capacity(容量)、size(大小)、loadFactor(加载因子)以及红黑树转换阈值的设定原则,帮助读者更好地理解HashMap的高效实现和性能优化策略。 ... [详细]
  • V8不仅是一款著名的八缸发动机,广泛应用于道奇Charger、宾利Continental GT和BossHoss摩托车中。自2008年以来,作为Chromium项目的一部分,V8 JavaScript引擎在性能优化和技术创新方面取得了显著进展。该引擎通过先进的编译技术和高效的垃圾回收机制,显著提升了JavaScript的执行效率,为现代Web应用提供了强大的支持。持续的优化和创新使得V8在处理复杂计算和大规模数据时表现更加出色,成为众多开发者和企业的首选。 ... [详细]
  • 线程能否先以安全方式获取对象,再进行非安全发布? ... [详细]
  • 本文详细介绍了在 Android 7.1 系统中调整屏幕分辨率和默认音量设置的方法。针对系统默认音量过大的问题,提供了具体的步骤来降低系统、铃声、媒体和闹钟的默认音量,以提升用户体验。此外,还涵盖了如何通过系统设置或使用第三方工具来优化屏幕分辨率,确保设备显示效果更加清晰和流畅。 ... [详细]
author-avatar
淘气111006
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有